home *** CD-ROM | disk | FTP | other *** search
/ Skunkware 5 / Skunkware 5.iso / src / Tools / inn-1.4 / faq-nov < prev    next >
Encoding:
Internet Message Format  |  1993-12-02  |  10.2 KB
  1. Path: uunet!tcsi.tcs.com!agate!agate!usenet
  2. From: rob@agate.Berkeley.EDU (Rob Robertson)
  3. Newsgroups: news.software.b,news.software.nntp,news.software.readers
  4. Subject: FAQ:  Overview database / NOV General Information
  5. Followup-To: news.software.b
  6. Date: 2 Dec 1993 11:02:05 -0000
  7. Organization: University of California, Berkeley
  8. Lines: 249
  9. Sender: usenet@agate.berkeley.edu
  10. Distribution: world
  11. Expires: 01/03/94
  12. Message-ID: <nov-faq-1-754830124@agate.Berkeley.EDU>
  13. Reply-To: rob@agate.Berkeley.EDU (Rob Robertson)
  14. NNTP-Posting-Host: agate.berkeley.edu
  15. Xref: uunet news.software.b:15224 news.software.nntp:6641 news.software.readers:7311
  16.  
  17. Posted-By: auto-faq 2.4
  18. Archive-name: nov-faq
  19.  
  20. $Header: /var/news/doc/RCS/nov-faq.1,v 1.4 1993/09/08 23:03:08 rob Exp rob $
  21.  
  22.                           Table Of Contents:
  23.                           ------------------
  24.  
  25.     What is `threading' and why is it good for you?
  26.     What is the Overview/NOV database?
  27.     What is the format of the NOV database?
  28.     What optional headers should I configure into the NOV database?  
  29.     What is XOVER?
  30.     How do I know if my NNTP server does XOVER?
  31.     What does it buy me?
  32.     How much disc space does the Overview database take up?
  33.     What News Transport Systems support NOV/XOVER and where can I
  34.         get it?
  35.     What Newsreaders Support NOV/XOVER?
  36.     Is there a reference threading implementation for NOV?
  37.     Any tips on configuring the Overview database?
  38.     Contributions to NOV FAQ.
  39.  
  40. ------------------------------
  41.  
  42. Subject: What is `threading' and why is it good for you?
  43.  
  44. I put this in first as a background question.
  45.  
  46. As news volume has grown in the last couple of years, the organization
  47. of the data presented to the user has become more important.  With the
  48. possibility of being presented with several hundred articles to read
  49. in a newsgroup, newer newsreaders have incorporated features that
  50. organize things by subject, and sort them in the order posted, and
  51. `thread' articles in groups according to who replied to who.  Note
  52. there is a difference between subject sorting and date sorting, and
  53. threading.  
  54.  
  55. This subject sorting and threading can be expensive using normal
  56. NNTP commands, as it involves opening each article and transferring it
  57. over to the client, for a relatively small bit of information.  This
  58. led to newsreader authors extending the NNTP command set so that they
  59. could set up an auxiliary database of just the information they
  60. needed.  The database would be updated as news arrived on the server,
  61. and when a client requested thread information about a particular
  62. group, it would just open one file and send it out, which made things
  63. pretty zippy. 
  64.  
  65. The downside of this, was that every newsreader had their own
  66. threading database, their own specialized NNTP extension, and it was
  67. customized to their `way' of doing threads.  Trn, NN, and tin are
  68. prime examples.  Each database occupies a fair amount of space, and
  69. in the case of trn and tin, the daemons that maintain the databases
  70. use up a nontrivial amount of system resources.
  71.  
  72. ------------------------------
  73.  
  74. Subject: What is the Overview/NOV database?
  75.  
  76. The Overview or News OverView (NOV) database was designed by Geoff
  77. Collyer.  Its a more generalized database, it it contains *no*
  78. threading information, just the information needed to thread.  The
  79. overview database is just a database of files, one for each group,
  80. containing a reference to each article, with seven or eight of the
  81. most popular headers.  Thus, the newsreader client can get most of the
  82. information it needs to thread, but it does the threading the way it
  83. wants to.  Yes, the downside is that now the threading occurs on the
  84. client's CPU, but that's not as expensive as it may seem, if done
  85. properly. 
  86.  
  87. ------------------------------
  88.  
  89. Subject: What is the format of the NOV database?
  90.  
  91. [this is stolen from Geoff Collyer's newsoverview(5) man page]
  92.  
  93. Each newsgroup directory contains a file named  `.overview',
  94. containing  one-line  summaries  of  articles in that group.  Fields
  95. are separated by tabs, and any tabs  or  newlines  in the  original
  96. articles  headers  have  been  replaced  with spaces.  The fields are,
  97. in  order:  article  number  (file name),  subject,  author, date,
  98. message-id, references, byte  count, line count, and optionally other
  99. headers, as arranged  locally  (none  are  supplied  by  the  database
  100. maintenance software, as shipped).  The line-count and references
  101. field may  be  empty.   If the optional other headers are present,
  102. they include their header keyword and  colon;  if  they  are absent
  103. entirely, the tab after the line-count field may also be absent.
  104.  
  105. ie:
  106.  
  107.     artid|subject|From|Date|Message-Id|References|bytecount|linecount|\
  108.         Optional-Header: Stuff
  109.  
  110. where | represents a tab and \ a line continuation (there are no 
  111. continuation lines in the Overview entry, it's just so that the above
  112. line fits in 80 columns).
  113.  
  114. Remember that header keywords in optional headers should be matched
  115. case insensitively.
  116.  
  117. ------------------------------
  118.  
  119. Subject: What optional headers should I configure into the NOV database?  
  120.  
  121. It's nice to configure the pseudo-header Xref: in.  Xref: is a site
  122. specific header that, tells if present where that are article has been
  123. cross posted.  It is useful for newsreaders who want to kill cross
  124. posted articles, you've told them to kill.
  125.  
  126. ------------------------------
  127.  
  128. Subject: What is XOVER?
  129.  
  130. XOVER is an NNTP extension for accessing the Overview database.  It
  131. is becoming a defacto standard for accessing bulk header/thread
  132. information via NNTP. 
  133.  
  134. It is used after establishing a current group with the GROUP command,
  135. and operations on that group.  It's syntax is
  136.  
  137.     XOVER artnumber1[-artnumber2]
  138.  
  139. Where artnumber1 is < artnumber2.  If successful, it returns a 224
  140. reply code, and the overview data [as in the Overview database] for
  141. the requested articles.  It is terminated by a "." (dot) on a line by
  142. itself.
  143.  
  144. NNTP servers implementing the XOVER command should try to ensure that
  145. the data is as consistant as possible, they should avoid handing out
  146. XOVER information for articles that don't exist, and should generate
  147. XOVER information on the fly for articles that do exist, but aren't
  148. found in the Overview database for some reason.  While the job of
  149. XOVER is to provide access to the Overview database, validating the
  150. Overview data is best done in the NNTP server, rather than having the
  151. NNTP client go through contortions to do it.
  152.  
  153. ------------------------------
  154.  
  155. Subject: How do I know if my NNTP server does XOVER?
  156.  
  157. By initially trying it, and looking at the response code.  Before
  158. doing a GROUP in your session, you should get back a 500 (no such
  159. command) response if the server doesn't implement XOVER, and a 412
  160. (not in a newsgroup) response, if it does.
  161.  
  162. ------------------------------
  163.  
  164. Subject: What does it buy me?
  165.  
  166. Speed, if you have newsreader clients that can take advantage of this, 
  167. disc space if you are currently supporting more than one version of a
  168. threading database.
  169.  
  170. If used by the NNTP daemon, XHDR can be speed up by *orders* of
  171. magnitude by using the Overview database.
  172.  
  173. ------------------------------
  174.  
  175. Subject: How much disc space does the Overview database take up?
  176.  
  177. About 10% of what your news spool space is.
  178.  
  179. ------------------------------
  180.  
  181. Subject: What News Transport Systems support NOV/XOVER and where can I
  182.      get it? 
  183.  
  184. INN 1.4 supports the Overview database and XOVER right out of the box.
  185.  
  186. C-News has an add-on patch kit that allows it to support NOV.  It's
  187. available via ftp from world.std.com:/src/news/nov.dist.tar.Z.  That
  188. gets you to the Overview stage, if you want to use the XOVER
  189. extension, you need Wayne Davison's version of Stan Barber's NNTP
  190. reference package  (via ftp via ftp.uu.net in
  191. /news/nntp/nntp-t4.tar.gz).  This is labeled as BETA at the
  192. moment, but for not much longer.    
  193.  
  194. The next version of C-News promises to integrate all this.
  195.  
  196. ------------------------------
  197.  
  198. Subject: What Newsreaders Support NOV/XOVER?
  199.  
  200. Among `officially released' newsreaders trn3.3 and tin-1.21 support
  201. both the Overview database and XOVER. 
  202.  
  203. Win-vn 0.8 for MS-Windows claims to support XOVER [Alan Thew].
  204.  
  205. Geoff has modified `proof of concept' newsreaders in
  206. world.std.com:/src/news/ that support the Overview database (*not*
  207. XOVER).
  208.  
  209. There is a modified version of NN (read unofficial) that supports
  210. XOVER in agate.berkeley.edu:/pub/usenet/NN-6.4P18+xover.tar.Z.  The
  211. official NN maintainer has been saying that that he's going to 
  212. issue a release that's going to support XOVER `soon' for a bunch o
  213. months now. 
  214.  
  215. There are some excellent patches by Felix Lee that allow GNUS to
  216. support XOVER (plus some kool async transfer mods).  Perhaps he'll
  217. post them again soon.  Perhaps they will be integrated into GNUS.
  218.  
  219. ------------------------------
  220.  
  221. Subject:  Is there a reference threading implementation for NOV data? 
  222.  
  223. Yes, in Geoff Collyer's package at
  224. world.std.com:/src/news/nov.dist.tar.Z.  
  225.  
  226. ------------------------------
  227.  
  228. Subject: Any tips on configuring the Overview database?
  229.  
  230. It's probably a good idea to configure in the optional pseudo header
  231. Xref:, as many newsreaders like to see it.
  232.  
  233. If newsreading is totally limited to NNTP, you might want to consider
  234. putting your Overview database on another partition on another disc
  235. (if you have space).  This buys you more room for news on your spool
  236. disc, and also spreads the disc accesses out across multiple drives,
  237. reducing the beating your spool partition is going to take.  Currently
  238. INN can do this easily, by changing the OVERVIEWDIR variable.  C-news
  239. is more problematic.
  240.  
  241. It would be nice if news news transport authors would not assume that 
  242. the Overview database directory and the news spool directory are the 
  243. same, so that others that read via NFS or locally can enjoy the same
  244. performance win....
  245.  
  246. ------------------------------
  247.  
  248. Subject: Contributions to NOV FAQ.
  249.  
  250. Thanks to the following for contributions, additions, corrections, and
  251. updates: 
  252.  
  253.     Geoff Collyer <geoff@world.std.com>
  254.     Wayne Davison <davison@borland.com>
  255.     Christopher Davis <ckd@eff.org>
  256.     Jason Haar <j.haar@cantva.canterbury.ac.nz>
  257.     Damon Hart-Davis <d@exnet.co.uk>
  258.     Iain Lea <iain@anl433.erlm.siemens.de>
  259.     Mark Linimon <linimon@nominil.lonesome.com>
  260.     Doug Sewell <doug@cc.ysu.edu>
  261.     News.Admin@liverpool.ac.uk (Alan Thew)
  262.  
  263. This posting, like much of Usenet, is maintained on a purely volunteer
  264. basis.  I welcome reactions, additions, and corrections via email at
  265. rob@agate.berkeley.edu.
  266.